前兩天提到,我們可以利用 MediaPipe Pose Landmarker 從攝影機畫面中取得人體的關鍵點,並把這些點連接成人體骨架。
但做到這裡,其實系統仍然只是在「看見人體」。
如果想進一步判斷復健動作是否正確,就不能只知道手肘、膝蓋或髖部「在哪裡」,而是要開始分析這些關節之間的關係。
其中一個最直覺的方法,就是計算關節角度。
例如今天要判斷一個屈膝動作,可以利用:
髖部 → 膝蓋 → 腳踝
這三個人體關鍵點,計算膝關節目前形成的角度。
假設使用者站直時,膝蓋接近伸直狀態;當開始屈膝之後,髖部、膝蓋與腳踝三個點的位置就會發生變化,計算出來的角度也會跟著改變。
這樣系統就可以開始回答一些問題,例如:
「膝蓋有沒有彎到指定角度?」
「動作幅度是不是太小?」
「左右腳的角度差異是不是太大?」
不過實際做起來,單純看一個角度還是不夠。
因為一個人即使膝蓋真的有彎到指定角度,也可能同時出現其他代償動作。
例如原本希望使用者抬起右腳,但為了把腳抬得更高,身體可能會整個往左側傾斜。
如果系統只看「右腳有沒有抬起來」,可能就會認為這個動作是正確的。
所以除了關節角度之外,我們還需要觀察: